تشخیص زبان اشاره بر اساس مشاهده

thesis
abstract

تشخیص زبان اشاره برای برقراری ارتباط میان افراد ناشنوا و نیمه شنوا با جامعه و یا کامپیوتر در رنج وسیعی کاربرد دارد [1] و انجام این کار به کمک پردازش تصویر در سال های اخیر بخاطر اهمیت آن مورد توجه محققین قرار گرفته است. در این تحقیق می خواهیم با استفاده از پردازش تصاویر دو بعدی اشاره ها و علایم دست ها را بدون استفاده از تجهیزات ویژه تشخیص دهیم. یکی از بهترین روش ها برای شناسایی علائم و اشارات، مقایسه مسیر حرکت دست و مدل سازی شکل دست و نحوه قرارگیری انگشتان در آن می باشد. در این پروژه به معرفی و بررسی تئوری بیشترین راستای لبه (med) پرداخته و نشان داده می-شود med یک ویژگی هندسی است که به ساختار دست بستگی دارد. ویژگی med به صورت آماری بیانگر بیشترین راستای لبه های تصویر است که با دقت خوبی نشان دهنده راستای قرار گرفتن انگشتان در هر اشاره می باشد. برای استخراج این ویژگی ابتدا تصویر باینری لبه از تصویر دست گرفته شده و سپس از المان ساختاری پیشنهادی مناسب که تنها روی پیکسل های لبه عمل می کند استفاده می شود. برای مدل سازی بهتر شکل دست از ویژگی lmed استفاده می شود. به این ترتیب تصویر مورد نظر به نواحی کوچکتر با اندازه معین افراز و در هر ناحیه ویژگی med محاسبه می گردد. همچنین استفاده از این ویژگی حجم پایگاه داده مورد نیاز را به شدت کاهش داده و موجب افزایش سرعت تشخیص می شود. الگوریتم پیشنهادی برای تشخیص زبان اشاره شامل دو مرحله می باشد: 1- کلاسه بندی اولیه 2- کلاسه بندی نهایی. در مرحله اول ابتدا ویژگی های مسیر حرکت دست، منحنی زاویه ی وتر دست و منحنی مساحت تصویر دست استخراج شده و سپس با کمک الگوریتم dtw و کلاسه بندی نزدیک ترین همسایگی، بیشتر کلاس های نا مطلوب حذف می شود. در نهایت سه کلاس باقی می ماند به طوری که احتمال حضور کلاس درست در این سه کلاس صد در صد می باشد (دقت صد در صد با رنک سه). در نتیجه دقت و سرعت تشخیص در زبان اشارات بهبود داده می شود. در مرحله دوم ابتدا با استفاده از الگوریتم dtw که تابع آن منحنی مسیر حرکت دست می باشد فریم های متناظر با هم انتخاب و سپس با کمک دو ویژگی lmed و مسیر حرکت دست، فاصله اشاره ورودی از سه کلاس تعیین شده در مرحله اول محاسبه می شود. در این پروژه سه روش برای کلاسه بندی زبان اشاره پیشنهاد شده است: 1- روش مینیمم فاصله با استفاده از ویژگی lmed 2- روش مینیمم میانگین هندسی 3- روش مینیمم فاصله اقلیدسی به صورت تطبیقی. کلاسه بندی های پیشنهادی روی مجموعه ای از اشارات asl صورت گرفت که شامل 47 کلمه متفاوت با 137 نمونه می باشد. در این آزمایش میزان دقت به مقدار 97.7% رسیده که در بهترین حالت برای اشارات با یک دست 98.9% و برای اشارات با هر دو دست 95.6% بوده است. نتایج بدست آمده کارایی بالای روش های پیشنهادی را نشان می دهد.

First 15 pages

Signup for downloading 15 first pages

Already have an account?login

similar resources

اشاره: تشخیص ناهنجاری در تصاویر ماهوارهای فراطیفی

     طیّ سال‌های اخیر تشخیص ناهنجاری در تصاویر ماهواره‌ای فراطیفی، به یکی از کاربردهای مهم آشکارسازی اهداف در دورکاوی تبدیل شده است. در بسیاری از کاربردها، از جمله سامانه‌های نظامی، علاوه بر دقت الگوریتم‌ها، ‌سرعت اجرای آن‌ها نیز از اهمیت بالایی برخوردار است. بسیاری از الگوریتم‌های تشخیص ناهنجاری به دلیل این که باید روی یک تصویر با ابعاد بالا اعمال شوند، از سرعت پایینی برخوردارند.      برای رفع...

full text

بررسی قدرت تشخیص روش مشاهده ای لاپاروسکوپی در تشخیص اندومتریوزیس

سابقه و هدف: نظر به شیوع بالای بیماری اندومتریوزیس درجمعیت خانم های سنین باروری و تأثیر آن درایجاد دردهای مزمن لگنی، ناباروری، کاهش باروری و دیسپارونی و لزوم تشخیص قطعی و درمان این بیماری، این تحقیق با هدف تعیین قدرت روش مشاهده ای لاپاراسکوپی در تشخیص اندومتریوزیس بر اساس استاندارد هیستوپاتولوژی، در مراجعین به بیمارستان مهدیه در فاصله بین تیر ماه 1383 لغایت اسفند 1384 صورت گرفت. مواد و روش ها: ...

full text

تشخیص زبان اشاره فارسی با استفاده از کینکت

ناشنوایان برای ارتباط با دیگران از زبان اشاره استفاده می کنند. فهم این زبان برای دیگران امری مشکل است و معمولاً نیاز به مترجم دارند. هدف این تحقیق طراحی و ساخت مترجم زبان اشاره فارسی است. داده عمق کینکت به نور محیط وابسته نیست، بنابراین ویژگی های استخراج شده از آن در محیط های مختلف تغییر ناپذیر می باشد. برای به دست آوردن یک سیستم پایدار در این تحقیق تنها از داده های عمق برای استخراج ویژگی استفاد...

15 صفحه اول

راهبردهای آموزش علوم و مهندسی همگام با زبان اشاره ناشنوایان

زبان از ویژگی‌های مهم بشر و عنصر وجودی انسان است. زبانِ اشاره راهکاری برای رفع نیازهای شفاهی و ارتباطی جامعه ناشنوایان است، همان‌طور که زبان‌هایی همچون فارسی، چینی، انگلیسی و... راهکارهایی برای رفع نیازهای ارتباطی جامعه شنوایان است. تجربه‌های بی‌نظیر در زندگی، دیدگاه‌های دانشمندان را در پژوهش شکل می‌دهد. بنابراین، تنوع در زندگی و تجربه‌های فرهنگی در میان دانشمندان سبب گسترش جهت گیری‌های پژوهشی و...

full text

بررسی نمود استمراری و نام در زبان اشاره ایرانی

  زبان اشارۀ ایرانی، زبانی دیداری/فضایی است که با دارا بودن ساختار نحوی و معنایی خاصّ خود در جامعۀ ناشنوایان در سرتاسر ایران با تفاوت لهجه­های مختلف، رشد کرده است. وجود اشارات قراردادی در این زبان اثبات می­کند که زبانی حقیقی است و تنها مجموعه­ای از تصاویر در فضا نمی­باشد. انگیزۀ اصلی انجام پژوهش حاضر با بررسی نمود در زبان اشارۀ ایرانی، معطوف کردن توجّه زبان­شناسان به یکی از ویژگی­های زبانی این زب...

full text

اشاره

در فرآیند چاپ نقشه و تصویر، عوامل متعددی در کاهش دقت و زیبایی مؤثر هستند. نقاط نیمه تن در کارهای چاپی بسیار خوب، قطری حدود 2/0 میلی متر دارند که همانند بسیاری از اشیاء ریز، نقاط نیمه تن در دنیای بزرگ، مقایس انسانی و فیزیکی دستخوش تغییر شکل و پیچیدگی می­ شوند. زمانی که پیکسل­ ها و نقاط نیمه تن از شبکه نشانی به صفحه چاپ منتقل می شوند اشکال ریاضی تحت تأثیر ماشین آلات فیزیکی قرار می­ گیرند. مراحل ل...

full text

My Resources

Save resource for easier access later

Save to my library Already added to my library

{@ msg_add @}


document type: thesis

وزارت علوم، تحقیقات و فناوری - دانشگاه صنعتی شاهرود

Hosted on Doprax cloud platform doprax.com

copyright © 2015-2023